贝叶斯范式的根本转变在于未知参数 $\theta$ 的本体论地位。与将 $\theta$ 视为固定但未知常数的频率学派统计不同，贝叶斯方法将 $\theta$ 视为一个 随机变量。这使我们能够通过先验概率度量 $\Pi$ 来量化不确定性。
贝叶斯模型构建
一个完整的贝叶斯模型由配对 $(\{f_{\theta} : \theta \in \Omega\}, \Pi)$ 定义。贝叶斯推断不仅仅是“使用贝叶斯定理”，而是有意识地将 先验概率分布 添加到抽样模型中，作为推断的一个基本要素。
联合分布
我们知识的总体状态由联合分布 $\pi(\theta) f_{\theta}(s)$ 揭示。该函数将观测数据 $s$ 和未观测参数 $\theta$ 在一个统一的、连贯的概率框架中联系起来。
直接的概率陈述
在这一范式中，$\theta$ 由概率密度 $\pi(\theta)$ 控制。这使我们能够对参数做出直接的概率陈述，例如 $P(\theta \in A)$。在频率学派框架中，这是逻辑上不可能的，因为 $\theta$ 没有分布，因此这类陈述是未定义的。
⚠️ 关键陷阱：后验公理
请注意，选择使用 后验分布 来对 $\theta$ 做概率陈述，是一个 公理，或原则，属于贝叶斯学派——而非从更基本的统计真理中推导出的定理。我们假设后验分布代表了我们理性信念的更新状态。
现实案例：医学诊断
在罕见疾病的诊断中，‘常数’是患者是否患病。在贝叶斯范式中，我们将疾病状态 $(\theta)$ 视为一个随机变量。如果患病率为 0.1%（先验），而一项检测（模型 $f_{\theta}$）呈阳性，我们不仅要看检测的准确率，还要看患病且检测阳性的联合概率，以确定新的患病概率。
🎯 核心原则
贝叶斯推断将先验概率分布加入数据的抽样模型中，作为一个额外的要素，用于推断未知参数值。